Famiglia Nolfi 
Vincenzo Nolfi era il figlio adottivo di Guido Nolfi, uomo dotto e di nobili natali che aveva ricoperto diversi incarichi di governo in varie città dello Stato della Chiesa. Grande committente, il suo nome è legato alla cappella omonima del duomo di Fano e del collegio Nolfi, fondato da Vincenzo su sua precisa volontà testamentaria. Quest’ultimo divenne un poeta e letterato, principe dell'Accademia degli Scomposti di Fano dal 1659 al 1665.

Il palazzo è la  più antica dimora dei Nolfi che si fa ammirare per il grande portale in pietra d'Istria con paraste a punte di diamante, realizzato nel 1588. Anche le finestre hanno cornici in pietra bianca.

All'interno, dall'atrio voltato a botte, si accede al cortile, preceduto da un portico a tre arcate , sorretto da colonne tuscaniche in pietra.

Sulla parete laterale di sinistra resta traccia di due arcate più antiche oggi tamponate con colonna centrale in pietra dal capitello tardogotico che documentano l’esistenza di una precedente dimora della famiglia Nolfi.

Al piano nobile si conservano ancora soffitti a volta decorati da grottesche